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Beschreibung 

Verfahren und Schaltungsanordnung zur Synchronisation syn- 
chron oder asynchron getakteter Verarbeitungseinheiten 

In Telekommunikationssystemen, in Data-Centern und anderen 
hochverfugbaren Systemen werden in vielen Fallen bis zu eini- 
gen Hundert sogenannter Prozessorboards eingesetzt, urn die 
erf orderliche Rechenleistung vorzusehen. Ein solches Prozes- 
sorboard besteht typischerweise aus einem Prozessor bzw. ei- 
ner CPU (Central Processing Unit), einem Chip Set, Hauptspei- 
cher und Peripheriebausteinen . 

Die Wahrscheinlichkeit des Auftretens eines Hardware -Defektes 
eines typischen Prozessorboards pro Jahr liegt im einstelli- 
gen Prozentbereich. Aufgrund der groSen Anzahl zu einem Sys- 
tem zusammengef afiter Prozessorboards ergibt sich eine auf den 
Jahreszeitraum bezogene sehr hohe Wahrscheinlichkeit eines 
Ausfalls einer beliebigen Hardware -Komponente, wobei ein sol- 
cher Einzelausfall, falls geeignete Vorkehrungen nicht ge- 
troffen werden, den Ausfall des gesamten Systems hervorrufen 
kann. 



Insbesondere an Telekommunikationssysteme, in zunehmendem Ma- 
Be auch an Data-Center, wird die Forderung nach einer hohen 
Systemverfugbarkeit gestellt. Diese wird beispielsweise in 
Prozent ausgedruckt, oder es wird die maximal zulassige Aus- 
fallzeit pro Jahr angegeben. Typische Anf orderungen sind z.B. 
eine Verf ugbarkeit von >99.999% bzw. eine Nichtverf ugbarkeit 
von hochstens einigen Minuten im Jahr. Da ublicherweise der 
Austausch eines Prozessorboards und die Wiederherstellung des 
Dienstes im Falle eines Hardwaredef ektes eine Zeit bean- 
sprucht, die im Bereich einige 10 Minuten bis einige Stunden 
liegt, miissen fur den Fall eines Hardwaredef ektes auf System- 
ebene entsprechende Vorkehrungen getroffen werden, urn die 
Forderung nach der Systemverfugbarkeit erfullen zu konnen. 
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Bekannte Losungen zur Einhaltung solch hoher Anf orderungen an 
die Systemverf ugbarkeit sehen redundante Systemkomponenten 
vor. Die bekannten Verfahren lassen sich in zwei hauptsachli- 
che Gruppen einteilen: sof twarebasierte Verfahren und hard- 
5 warebasierte Verfahren. 

Bei sof twarebasierten Verfahren wird typischerweise eine 
Middleware eingesetzt . Die sof twarebasierte Losung erweist 
sich jedoch als wenig flexibel, da lediglich diejenige (Ap- 

10 plikations- ) Sof tware in einem solchen System eingesetzt wer- 
den kann, die fur dieses besondere Redundanzschema entwickelt 
wurde. Dies schrankt das Spektrum einsetzbarer (Applikations- 
) Sof tware erheblich ein. Daruber hinaus ist die Entwicklung 
von Applikationssof tware fur Sof twareredundanzprinzipien in 

15 der Praxis aufierst aufwendig, wobei die Entwicklung zusatz- 
lich ein kompliziertes Testverf ahren nach sich zieht. 

Das Grundprinzip hardwairebasierter Verfahren beruht darauf , 
die Redundanz auf Hardwareebene zu kapseln, so daS dies fur 
20 die Software transparent ist, Der wesentliche Vorteil einer 
von der Hardware selbst verwalteten Redundanz ist der # daS 
die Applikationssof tware durch das Redundanzprinzip nicht be- 
eintrachtigt wird und somit in den meisten Fallen jede belie- 
bige Software zum Einsatz kommen kann, 

25 

Ein in der Praxis haufig anzutref f endes Prinzip fur hardware - 
f ehlertolerante Systeme, deren Redundanz fur die Software 
transparent ist, ist das sogenannte Lockstep-Prinzip . 
Lockstep bedeutet, dafi identisch aufgebaute Hardware, z.B. 

30 zwei Boards, gleichartig taktsynchron betrieben werden. Durch 
Hardwaremechanismen wird sichergestellt , daS die redundante 
Hardware zu einem gegebenen Zeitpunkt identische Eingangssti- 
muli erfahrt und dadurch zu identischen Ergebnissen kommen 
mug. Die Ergebnisse der redundant en Komponenten werden ver- 

35 glichen, im Fall einer Abweichung wird ein Fehler festge- 

stellt und geeignete Mafinahmen werden eingeleitet (Alarmie- 
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rung an das Bedienpersonal , partielle Oder vollstandige Si- 
cherheitsabschaltung, Systemneustart) . 

Die grundlegende Voraussetzung fur die Implementierung eines 
Locks tep- Systems ist das taktweise deterministische Verhalten 
aller im Board enthaltenen Komponenten, also CPUs, Chip Sets, 
Hauptspeicher etc. Taktweise deterministisches Verhalten be- 
deutet dabei, daS diese Komponenten im fehlerfreien Fall i- 
dentische Ergebnisse zu identischen Takt-Zeitpunkten liefern, 
wenn die Komponenten identische Stimuli zu identischen Takt- 
Zeitpunkten erhalten. Taktdeterministisches Verhalten setzt 
ferner die Verwendung taktsynchroner Schnittstellen voraus . 
Asynchrone Schnittstellen bewirken im System in vielen Fallen 
eine gewisse zeitliche Unscharfe, wodurch das taktsynchrone 
Gesamtverhalten des Systems nicht aufrecht erhalten werden 
kann. 

Gerade fur Chip Sets und CPUs bieten asynchrone Schnittstel- 
len jedoch technologische Vorteile bei der Erhohung der Leis- 
tungsfahigkeit, wodurch eine taktsynchrone Betriebsweise nach 
dem Lockstep-Verfahren unmoglich wird. Zudem verwenden moder- 
ne CPUs zunehmend Mechanismen, die eine taktsynchrone Be- 
triebsweise unmoglich machen. Dies sind beispielsweise inter- 
ne, nach auSen nicht sichtbare Korrekturmafcnahmen, z.B. Kor- 
rektur eines internen, korrigierbaren Fehlers beim Zugriff 
auf den Cache -Speicher , die zu einer geringf ugigen Verzoge- 
rung der Bef ehlsabarbeitung fuhren konnen, oder die spekula- 
tive Ausfuhrung von Befehlen. Ein weiteres Beispiel ist die 
zukiinftig zunehmende Implementierung von CPU- internen takt- 
freien Ausf uhrungseinheiten, die erhebliche Vorteile hin- 
sichtlich Geschwindigkeit und Verlustleistung ermoglichen, 
jedoch ein taktsynchrones bzw. deterministisches Arbeiten der 
CPU verhindern. 

Es ist daher eine Aufgabe der vorliegenden Erfindung, ein 
Verfahren anzugeben, durch welches die Vorteile des Lockstep- 
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Verfahrens zu gewahrt bleiben und welches der technologischen 
Entwicklung Rechnung tragt . 

Diese Aufgabe wird durch ein Verfahren zur Synchronisation 
5 synchron oder asynchron getakteter Verarbeitungseinheiten ge- 
maS der Merkmale des Patentanspruchs 1 und eine Schaltungsan- 
ordnung zur Synchronisation synchron oder asynchron getakte- 
ter Verarbeitungseinheiten gemafi der Merkmale des Patentan- 
spruchs 13 gelost , 

10 

Bevorzugte Ausf uhrungsf ormen sind Gegenstand der abhangigen 
Anspruche . 

Erf indungsgemaS wird ein Verfahren zur Synchronisation iden- 
15 tischer oder verschiedener, redundanter Verarbeitungseinhei- 
ten PROo/ PROi, die identische Instruktionsf olgen abarbeiten 
und synchron oder asynchron getaktet sind, vorgesehen, demge- 
maS nach auSerhalb der Verarbeitungseinheiten PRO 0/ PROi wir- 
kende Transaktionen durch den Verarbeitungseinheiten PRO 0 , 

2 0 PROi zugeordnete Bausteine EQ 0 , EQi zur Synchronisation der 

Verarbeitungseinheiten PRO 0 , PR0 2 verwendet werden, indem die 
Verarbeitungseinheiten jeweils -durch die zugeordneten Bau- 
steine verzogert und dadurch angeglichen werden, bis die In- 
struktionsausf uhrung aller Verarbeitungseinheiten die aktuel- 
25 le Transaktion erreicht hat. 

Dabei konnen folgende Transaktionen zur Synchronisation ver- 
wendet werden : 

nicht - zwischenspeicherbare Speichertransaktionen betref- 
30 fend einen den jeweiligen Verarbeitungseinheiten PRO 0/ 

PROi zugeordneten lokalen Speicher MEM 0 , MEMi und/oder 
Eingabe/Ausgabetransaktionen zu Eingabe/Ausgabebausteinen 

I/O 0 , I/Oi und/oder 

speicherabgebildete Ein/Ausgabe transaktionen zu externen 

3 5 Regi stern REG 0/ REGi und/oder 
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- nicht-zwischenspeicherbare Speichertransaktionen betref- 
fend einen gemeinsamen Speicher CMEM der Verarbeitungs- 
einheiten PRO 0 , PROi . 

Lesende Transaktionen konnen dabei ausgefuhrt werden, indem 
der einer Verarbeitungseinheit zugeordnete Baustein die Ver- 
arbeitungseinheit bis zum Eintreffen der zu lesenden Daten im 
Wartezustand belaSt und den oder die Parameter der lesenden 
Transaktion an den am direktesten mit dem Transaktionsziel 
I/O 0 ,l/Oi, MEM 0 , MEMi , REG 0 , REG if CMEM verbundenen Baustein 
sendet, wobei der am direktesten mit dem Transaktionsziel 
verbundene Baustein den oder die Parameter der anderen Bau- 
steine sowie den oder die lokal erzeugten Parameter empfangt 
und vergleicht und bei Ubereinstimmung die lesende Transakti- 
on ausfuhrt und die gelesenen Daten an alle Bausteine ver- 
teilt, woraufhin alle Bausteine die gelesenen Daten an die 
zugeordneten Verarbeitungseinheiten weiterleiten und die 
Fort set zung der Instruktionsausf uhrung ermoglichen. 

20 Schreibende Transaktionen konnen ausgefuhrt werden, indem der 
einer Verarbeitungseinheit zugeordnete Baustein die Verarbei- 
tungseinheit bis zum Abschlufe des Schreibenvorganges im War- 
tezustand belassen kann und den oder die Parameter der 
schreibenden Transaktion an den am direktesten mit dem Trans- 

25 aktionsziel I/O 0 ,l/Oi, MEM 0/ MEMi , REG 0 , REd, CMEM verbundenen 
Baustein sendet, wobei der am direktesten mit dem Transakti- 
onsziel verbundene Baustein den oder die Parameter der ande- 
ren Bausteine sowie den oder die lokal erzeugten Parameter 
empfangt und vergleicht und bei Ubereinstimmung die schrei- 

3 0 bende Transaktion ausfuhrt und den erfolgten Schreibvorgang 
an alle Bausteine quittiert, woraufhin alle Bausteine die 
Fortsetzung der Instrukt ionsausf iihrung der zugeordneten Ver- 
arbeitungseinheiten ermoglichen. 



35 Vorteilhaft lassen sich externe Ereignisse, z.B. Interrupts, 
im Zusammenhang mit dem erf indungsgemaSen Synchronisations- 
verfahren basierend auf Transaktionen behandeln, wenn die Be- 
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handlung der externen Ereignisse durch das Lesen eines Wer- 
tes, z.B. Interruptvektor, von einer Speicherstelle oder ei- 
nes Registers eingeleitet wird und zudem sichergestellt ist, 
daS alle Verarbeitungseinheiten an der gleichen Stelle der 
Befehlsausfuhrung die externen Ereignisse prasentiert bekom- 
men. Die die Ereignisbehandlung einleitende lesende Transak- 
tion wird wie oben beschrieben durchgef uhrt , z.B. mittels ei- 
nes Interrupt Acknowledge Zyklus . 

Ein geeignetes Verfahren zur Synchronisation externer Ereig- 
nisse ist in der Europaischen Pat entanmel dung 0202 0602 be- 
schrieben und sieht vor, daS die externen Ereignisse zwi- 
schengespeichert werden, wobei die gespeicherten externen Er- 
eignisse in einem gesonderten Betriebsmodus der Verarbei- 
tungseinheiten zur Verarbeitung durch zumindest je eine Aus- 
fuhrungseinheit der Verarbeitungseinheiten abgerufen werden 
und wobei die Verarbeitungseinheiten in diesen Betriebsmodus 
ansprechend auf die Erfullung einer durch Befehle vorgebbaren 
oder fest vorgegebenen Bedingung eintreten und die Fort set - 
zung der I ns t rukt ionsaus f uhrung durch die Bausteine EQ 0 , EQi 
verzogert wird, bis alle Verarbeitungseinheiten den gesonder- 
• ten Betriebsmodus beendet-haben . 

Der Wechsel in den gesonderten Betriebsmodus wird beispiels- 
weise ausgefuhrt, falls durch Komparatorelemente K der Verar- 
beitungseinheiten die Ubereinstimmung von Zahlelementen CIC 
mit Registerelementen MIR ermittelt wird, wobei der Inhalt 
der Registerelemente MIR durch Befehle vorgebbar und fur alle 
Verarbeitungseinheiten PRO 0 , PRO x identisch ist und das Zahl- 
element CIC die Anzahl der durch die Ausf uhrungseinheit aus- 
gefuhrten Instruktionen seit dem letzten Wechsel in den ge- 
sonderten Betriebsmodus enthalt . 

Eine Fehlerbehandlung kann eingeleitet werden, falls der am 
direktesten mit dem Transaktionsziel verbundene Baustein eine 
Abweichung der Parameter der anderen Bausteine sowie des oder 
der lokal erzeugten Parameter (s) feststellt. Die Fehlerbe- 
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handlung kann dabei die auszuf iihrende Transaktion stoppen und 
eine Routine zur Diagnose, Fehlerisolierung und gegebenen- 
falls zur wiederherstellung der Synchronitat starten. Sind N 
(z.B. N=3) Verarbeitungseinheiten vorhanden, kann eine (N-l) 
aus N Mehrheitsentscheidung oder allgemein eine (N-M) aus N 
Mehrheitsentscheidung getroffen und die abweichende (n) Verar- 
beitungseinheiten) deaktiviert werden. 

Ferner kann eine Ausf allerkennung einzelner Verarbeitungsein- 
heiten erfolgen, indem fur eine beliebige Transaktion begin- 
nend mit dem f runes ten Verf ugbarwerden des oder der Parame- 
ter (s) beim Baustein einer Verarbeitungseinheit nicht oder 
erst nach Ablauf einer vorgebbaren Zeit eintreffende Parame- 
ter verworfen werden, wobei fur Verarbeitungseinheiten mit 
nicht oder erst nach Ablauf der vorgebbaren Zeit eintreffen- 
den Parametern eine Fehlerbehandlung initiiert wird. 

Die Erfindung sieht ferner eine Anordnung zur Synchronisation 
synchron oder asynchron getakteter Verarbeitungseinheiten 
PROo, PROi redundanter Datenverarbeitungssysteme vor, die 

folgendes aufweist: 
- mindestens zwei Verarbeitungseinheiten PRO 0 , PROi zur Ab- 
arbeitung identischer Instruktionsf olgen, 
den verarbeitungseinheiten jeweils exklusiv zugeordnete 
Peripherie MEM 0 , MEMi zum Speichern und/oder Austauschen 
von Da ten, 

von alien Verarbeitungseinheiten gemeinsam nutzbare Peri- 
pherie I/Oo, i/Oi , REGo, REGi, CMEM zum Speichern und/oder 
Austauschen von Daten, 

den Verarbeitungseinheiten zugeordnete Bausteine EQ 0 , EQi, 
wobei die Bausteine EQ 0 , EQi Mittel zum Uberwachen von 
Transaktionen sowie Mittel zum Anhalten der zugeordneten 
Verarbeitungseinheit bis zum Erreichen der aktuellen 
Transaktion durch alle Verarbeitungseinheiten aufweisen 
sowie Mittel Lo, I* zum Ubertragen von Parametern der 
Transaktionen an andere Bausteine. 
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Die Bausteine EQ 0 , EQi konnen dabei Mittel zum Synchronisie- 
ren der Verarbeitungseinheiten insbesondere anhand folgender 
Transaktionen aufweisen: 

- nicht-zwischenspeicherbare Speichertransaktionen betref- 

fend einen den jeweiligen Verarbeitungseinheiten PRO 0 , 
PROi zugeordneten lokalen Speicher MEM 0 , MEMi und/oder 

- Eingabe/Ausgabetransaktionen zu Eingabe/Ausgabebausteinen 

I/O 0 , I/Oi und/oder 

speicherabgebildete Ein/Ausgabetransaktionen zu externen 
Regi stern REG 0 , REGi und/oder 

nicht-zwischenspeicherbare Speichertransaktionen betref- 
fend einen gemeinsamen Speicher CMEM der Verarbeitungs- 
einheiten PR0 0 , PROa. 

Dabei weisen die Bausteine vorteilhaft Mittel zum Bilden fol- 
gender Parameter reprasentativ fur Transaktionen auf : 

- Eingabe/Ausgabeadressen und/oder 
Speicheradressen und/oder 

zu transf erierende Daten und/oder 

- Art der Transaktion und/oder 

- eine aus den Eingabe/Ausgabeadressen und/oder den Spei- 
cheradressen und/oder den zu transf erierenden Daten 

und/oder der Art der Transaktion gebildete Signatur. 

Zur Behandlung externer Ereignisse wie z.B. Interrupts weisen 
die Verarbeitungseinheiten vorzugsweise f olgendes auf : 
mindestens eine Aus f uhrungs e inhe i t EU, 

- mindestens ein Zahlerelement QIC zum Zahlen der durch die 
Ausfuhrungseinheit ausgefuhrten Instruktionen seit dem 
letzten Wechsel in den gesonderten Betriebsmodus, 

- mindestens ein Registerelement MIR, dessen Inhalt durch 

Befehle vorgebbar oder fest vorgegeben ist, 

- mindestens ein Komparatorelement K zum Umschalten der 
Ausfuhrungseinheit EU in einen gesonderten Betriebsmodus 
ansprechend auf die Ubereinstimmung des Zahlelementes CIC 
mit dem Registerelement MIR, wobei in dem gesonderten Be- 
triebsmodus zwischengespeicherte, den Prozessorbausteinen 
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zuzuf uhrende externa Ereignisse, welche die Prozessorbau- 
steine beeinf lussen, durch die Prozessorbausteine abgeru- 
fen werden . 

5 Der Abruf der zwischengespeicherten externen Ereignisse kann 
dabei vorteilhaft mittels Software, Firmware, Microcode oder 
Hardware erf olgen . 

Ein wesentlicher Vorteil der Erfindung ist darin zu sehen, 
10 daS die Verwendung beliebiger neuer oder bestehender Software 
auf einer hardwaref ehlertoleranten Plattform ermoglicht wird, 
wobei in dieser Plattform eine die Erfindung unterstutzende 
Verarbeitungseinheit zum Einsatz kommen kann, ohne daS die 
Forderung nach taktsynchroner , deterministischer Arbeitsweise 
15 der CPU besteht . 

Weitere Vorteile sind: 

Die zueinander redundanten Verarbe i t ungse inhe i t en , die 
beispielsweise aus einer CPU, einer Northbridge und loka- 
20 lem Speicher gebildet werden, mussen nicht phasenstarr 

gekoppelt betrieben werden. 

Die CPUs mussen nicht identisch sein, was insbesondere 
den gleichzeitigen Einsatz verschiedener CPU-Steppings 
innerhalb eines redundanten Systems ermoglicht, und kon- 
25 nen mit unterschiedlichen Taktf requenzen betrieben wer- 

den . 

- Die CPUs konnen sich unterschiedlich in Bezug auf die 
spekulative Ausfuhrung von Instruktionen verhalten. 
Unterschiedliche CPU-interne Ausf uhrungszeiten identi- 
3 0 scher CPUs, z.B. aufgrund von Korrekturen nach dem daten- 

verfalschendem Auftreten von Alpha-Teilchen, fuhren le- 
diglich dazu, dafi die Synchronisationsereignisse zu ge- 
ringfugig unterschiedlichen Zeitpunkten erreicht werden. 

35 Die beschriebenen Probleme bei der Sicherstellung der takt- 
synchron deterministischen Arbeitsweise fuhren aufgrund der 
zeitlichen Unscharfe zukunftiger CPUs zu zeitlich nicht exakt 



200219468 



10 

korrelierbarer Bef ehlsausfuhrung . Da die CPU bei einer typi- 
schen Applikation auf externe Ereignisse reagieren muS, z.B. 
auf einen von einem Peripheriegerat generierten Interrupt o- 
der auf Daten, die von einem Gerat in den Hauptspeicher ge- 
5 schrieben wurden, mufi sichergestellt werden, dafi die CPU von 
diesen Ereignissen an identischen Stellen in der Befehlsaus- 
fuhrung in Kenntnis gesetzt wird, da sonst die Bewertung die- 
ser Ereignisse zu unterschiedlichen Programmablauf en redun- 
danter CPUs fuhren konnte. 

10 

Die vorliegende Erfindung sorgt dafur, daS externe, fur den 
Programmablauf relevante Ereignisse, wie z.B. Interrupts oder 
von externen Geraten erzeugte Daten, redundanten CPUs an i- 
dentischen Stellen der Bef ehlsausfuhrung prasentiert werden 
15 und dadurch die Lockstep-Betriebsweise emuliert werden kann. 

AuSerdem werden Ausgabeereignisse redundanter CPUs, die an 
identischen Stellen der Bef ehlsausfuhrung prasentiert werden, 
verglichen und die Ergebnisse somit validiert. Im Gegensatz 

2 0 zu bekanntenen Verfahren, die die Synchronisation und die 

Verteilung von Daten aus der Prozessor- Peripherie durch Soft- 
ware-basierte Methoden bewerkstelligen, wird dies -erfindungs- 
gemaS durch Hardware realisiert. Ein entscheidender Vorteil 
dabei ist, daE der PerformanceeinfluS im Vergleich zu den 
25 sof twarebasierten Verfahren urn ein Vielf aches geringer ist. 

Das beschriebene Verfahren ist daruber hinaus fur die Appli- 
kations- und Betriebssystem-Sof tware vollig transparent, d.h. 
exist ierende Applikations- und Betriebssystem-Sof tware kann 
ohne Modif ikationen weiterhin eingesetzt werden. 

30 

Im folgenden wird ein Ausf uhrungsbeispiel der Erfindung im 
Zusammenhang mit drei Figuren naher erlautert. 

Figur 1 zeigt schematisch zwei Verarbeitungseinheiten mit zu- 
geordneter Peripherie und Synchronisation von Transakti- 

3 5 onen. 
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Figur 2 zeigt schematisch zwei Verarbeitungseinheiten, die 

anhand ihrer Peripherietransakt ionen mittels zweier Bau- 

steine synchronisiert werden. 
Figur 3 zeigt schematisch den Aufbau einer bevorzugten Verar- 
5 beitungseinheit mit weiteren Details. 

Figur 4 zeigt ein Zeitdiagramm der Bef ehlsabarbeitung zweier 

verschieden getakteter Verarbeitungseinheiten sowie de- 

ren erf indungsgemaSe Synchronisierung . 

10 In Figur 1 sind zwei Verarbeitungseinheiten PRO 0 , PRO x sche- 
matisch dargestellt, deren extern wirkende Transaktionen syn- 
chronisiert werden. Beispielhaft sind Transaktionen zu fol- 
genden Komponenten dargestellt: lokaler Speicher MEM 0/ MEMi, 
Register REG 0 , REGi und Eingabe/Ausgabebausteine bzw. I/O- 

15 Bausteine I/O 0 , I/Oi. Dabei sind der ersten Verarbeitungsein- 
heit PRO 0 erste Komponenten MEM 0 , REG 0 und I/O 0 zugeordnet , 
wahrend der zweiten Verarbeitungseinheit PROi zweite Kompo- 
nenten MEM X , REG a und I/Oi zugeordnet sind. Wie durch entspre- 
chende gestrichelte Verbindungen angedeutet, haben die Verar- 

20 beitungseinheiten Zugriff auf die Register REG n und die I/O- 
Bausteine l/O ra der jeweils anderen Verarbeitungseinheit, wah- 
rend auf den lokalen Speicher MEM k nur die zugeordnete Verar- 
beitungseinheit PRO k Zugriff hat. 

25 Ferner ist beispielhaft eine Komponente dargestellt, auf wel- 
che die Verarbeitungseinheiten gemeinsam zugreifen, hier ge- 
meinsamer Speicher CMEM, wobei im Unterschied zu den Regis- 
tern und den I/O-Bausteinen der gemeinsame Speicher keiner 
der Verarbeitungseinheiten zugeordnet ist. 

30 

Figur 2 zeigt wiederum die beiden Verarbeitungseinheiten und 
beispielhaft die I/O-Bausteine sowie die Register aus Figur 
1. Diese sind nicht herkommlich direkt uber entsprechende 
Schnittstellen oder Schnittstellenbausteine verbunden, son- 
35 dern mittels Equalizer-Bausteinen EQ 0 , EQi . Alle Zugriff e der 
Verarbeitungseinheit PRO 0 werden durch den Equalizer EQ 0 emp- 
fangen, verarbeitet und entsprechend weitergeleitet , ebenso 
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werden der Verarbeitungseinheit PRO 0 alle externen Daten und 
Ereignisse durch den Equalizer EQ 0 prasentiert . Analog ist 
der Verarbeitungseinheit PROi ein gleichwert iger Equalizer 
EQi zugeordnet . 

Die Equalizer EQ 0 , EQi tauschen Inf ormat ionen aus und weisen 
dazu vorteilhaft eine schnelle und direkte Verbindung L 0 , In 
auf . Diese Verbindung kann, wie dargestellt, logisch und/oder 
physikalisch in eine erste Verbindung L 0 : EQ 0 -> EQi und eine 
zweite Verbindung L x : EQi -> EQ 0 aufgeteilt sein. 

Wie in Figur 2 gestrichelt angedeutet, konnen gemaS vorlie- 
gender Erfindung auch weitere Einheiten bestehend aus je ei- 
ner Verarbeitungseinheit PRO, einem Equalizer EQ und Periphe- 
rie REG, I/O angeschlossen sein, urn ein entsprechend tnehrfach 
redundantes System zu bilden. Durch Zufiigen einer weiteren 
derartigen Einheit wurde ein 3fach redundantes System entste- 
hen, in dem bereits eine Fehlerbehandlung durch 2 aus 3 Mehr- 
f achentscheidung stattfinden kann. 

Figur 3 zeigt schliefilich eine detailliertere Realisierung 
-■ der- Erfindung im' Zusammenhang • mit einer herkommlichen Prozes- 
sor/Peripheriearchitektur, die sich dadurch auszeichnet, daS 
eine Hauptprozessor CPU uber eine Northbridge-Schnittstellen- 
einheit NB mit einer Southbridge-Schnittstelleneinheit SB ge- 
koppelt ist, wobei die Northbridge z.B. auch die Schnittstel- 
le mit dem lokalen Speicher MEM 0 umfalSt, wahrend die South- 
bridge z.B. einen Interrupt -Controller und andere I/O- 
Funkt ionen umf afit . 

Wie in Figur 3 beispielhaft dargestellt, kann eine Verarbei- 
tungseinheit PRO 0 aus einer CPU, einer Northbridge und loka- 
lem Speicher aufgebaut sein. Die CPU in einer besonders vor- 
teilhaften Ausgestaltung kann neben den herkommlichen Einhei- 
ten, von denen zur Vereinf achung nur ein Cache -Speicher und 
eine Ausf uhrungseinheit EU dargestellt sind, ein Register 
MIR, einen Zahler CIC und einen Vergleicher bzw. Komparator K 
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enthalten, die dazu dienen, externe Ereignisse wie Interrupts 
und Exceptions nur an bestimmten Stellen in der Befehlsaus- 
fuhrung an die Ausf uhrungseinheit wei t erzulei ten und einen 
ansonsten unterbrechungsf reien Ablauf der Abarbeitung von In- 
5 struktionsf olgen zu gewahrleisten . • 

Der erf indungsgemaSe Equalizer-Baustein EQ 0 ist vorzugsweise 
zwischen der Northbridge und der Southbridge angeordnet, da 
die Schnittstelle zwischen Northbridge und Southbridge alle 
notwendigen Signalleitungen aufweist, urn es dem Equalizer zu 
ermoglichen, die Abarbeitung der Instruktionsf olgen anzuhal- 
ten, bis Synchronitat der Verarbeitungseinheit PRO 0 mit be- 
nachbarten Verarbeitungseinheiten (nicht dargestellt) er- 
reicht ist. Nur angedeutet sind die Verbindungen L 0 , Li zur 
Verbindung des Equalizers EQ 0 mit Equal izern benachbarter 
Ve r a rbe i t ungs e i nhe i t en . 

Die in Figur 3 aufgezeigte logische Gruppierung entspricht 
nicht notwendigerweise der tatsachlichen physikalischen Grup- 
20 pierung der einzelnen Komponenten. Beispielsweise kann die 
Northbridge in die CPU integriert sein, oder der Equalizer 
kann in die Northbridge oder die Southbridge integriert sein 
oder gemeinsam mit der Northbridge - in die CPU. 

25 Figur 4 stellt die Synchronisierung der Bef ehlsausf uhrung 
zweier Verarbeitungseinheiten in einem Zei tablauf diagramm 
grafisch dar. In dem in Figur 4 dargestellten Beispiel werden 
identische Instruktionsf olgen durch zwei CPUs CPU 0 und CPUi 
abgearbeitet , wobei CPU 0 mit einer geringeren Taktrate be- 

3 0 trieben wird als CPU^ Damit erreicht CPUi jeden Befehl zu 

einem fruheren Zeitpunkt als CPU 0 , vorausgesetzt, dafi zu Be- 
ginn, d.h. bei Abarbeitung der mov rl, r2 , samtliche Register 
und den CPUs zugeordnete Speicher synchronisiert waren. 

35 Diese nicht synchrone Bef ehlsabarbeitung ist tolerierbar, so- 
lange die CPU nicht in Interaktion mit der Aufienwelt, bei- 
spielsweise mittels I/O-Bausteinen oder Zugriffen auf gemein- 
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samen Speicher, tritt. Fur derartige Transaktionen, im Bei- 
spiel der Figur 4 das Auslesen des I/O-Registers 0x87654321 , 
ist es allerdings erf orderlich, daft diese Transaktionen fur 
beide CPUs gleichzeitig und insbesondere mit dem gleichen Er- 
gebnis stattfinden. Dies wird mittels der Equalizer, wie im 
folgenden beschrieben, erreicht. Gleichzeitig sorgen die E- 
qualizer an solchen Transaktionspunkten dafur, da£ die Syn- 
chronitat der CPUs wiederhergestellt wird. 

In Anlehnung an die Lockstep-Betriebsweise wird das erfin- 
dungsgemafie Verfahren im folgenden emulierter Lockstep ge- 
nannt . Eine Realisierung fur den emulierten Lockstep besteht 
aus mindestens zwei Verarbeitungseinheiten PRO 0 und PROi, die 
aus einer CPU, Speicher sowie Speicheransteuerung (North- 
bridge eines Standard-Chipsatzes) bestehen konnen. Diese Ver- 
arbeitungseinheiten sind identisch auf gebaut , konnen jedoch 
verschiedene CPUs oder verschiedene Steppings einer CPU auf- 
weisen, und werden in identischem Zustand, d.h. identische 
Speicher- und CPU-Registerinhalte f gestartet. Eine Kopplung 
uber gemeinsame oder synchronisierte Takte ist erf indungsge- 
maS nicht erf orderlich . 

Von den CPUs werden im Rahmen der Maschinenbef ehlsausf uhrung 
Speicherzyklen, beispielsweise Schre.ibzyklen, Lesezyklen und 
gegebenenfalls I/O-Zyklen initiiert. Zur Synchronisation der 
CPUs, gegebenenfalls mit Datenaustausch zwischen den CPUs, 
sind alle Zyklen geeignet, die folgende Bedingungen erfullen 

(a) sie sind instruktionsdeterministisch, d.h. sie werden 
identisch von alien CPUs an derselben Programms telle und 
in derselben Reihenfolge abgesetzt, und 

(b) sie werden von den CPUs immer nach auBen abgesetzt, d.h 
sie sind immer auSerhalb der Prozessoren sichtbar und 
abgreifbar; prozessorinterne Cachezyklen sind z.B. unge- 
eignet . 



Folgende Speicherzyklen erfullen beispielsweise diese Randbe 
dingungen : 
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- nicht-zwischenspeicherbare bzw. .non-cachable Speicherzyk- 

len in den eigenen Speicher MEM 0 , MEM lf 

- I/O-Zyklen, 

speicherabgebildete bzw. memory mapped I/O-Zyklen, bei- 
5 spielsweise an externe Register REGo, REGi, 

nicht - zwi schenspeicherbar non-cachable Speicherzyklen an 
einen externen gemeinsamen Speicher CMEM. 

Verschiedene externe Register, z.B. Timer bzw. Zeitgeber, 
10 Counter bzw. Zahler und/oder eine Interruptlogik, sowie I/O- 
Einheiten zur Aufienwelt, z.B. Ethernet-Controller oder SCSI- 
Controller, stehen in der Regel in Kommunikation mit der CPU. 
Zwischen CPU und I/O-Einheit ist fur jede CPU je ein Equali- 
zer uber ein asynchrones oder synchrones Interface angeschal- 
15 tet, der den emulierten Lockstep-Betrieb realisiert. Zwischen 
den Equal izern EQ 0 , EQi sind asynchrone oder synchrone Punkt- 
zu-Punkt Verbindungen L 0/ Li erf orderlich, urn Daten, Adressen 
oder Signaturen austauschen zu konnen. Auf den asynchronen 
Interfaces ist im Fall von Ubertragungsf ehlern eine Wiederho- 
20 lung der Ubertragung vorsehbar. 

Ein lesender oder schreibender Zugrif f auf I/O-Einheiten oder 
Register findet als speicherabgebildete bzw. memory mapped 
I/O oder direct I/O statt . Die I/O-Einheiten sind alle sicht- 

25 bar und uber getrennte Speicheradressen erreichbar. Dagegen 

konnen die Register in einer Master-Master oder einer Master- 
Slave-Konf iguration geschaltet werden. Bei der Master-Master 
Konf iguration werden die Register der jeweils zugeordneten 
Verarbeitungseinheit lesend oder schreibend angesprochen . 

30 Vorausset zung fur diese Betriebsweise ist, daS Register beim 
Zugrif f der Verarbeitungseinheiten denselben Zustand aufwei- 
sen, um die parallele Betriebsweise der Einheiten zu gewahr- 
leisten. 

35 Bei der Master-Slave Konf iguration werden von alien Einheiten 
ausschlieSlich die Register der Master-Einheit gelesen und 
die Register der Master-Einheit werden nur von der Master- 
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Einheit beschrieben. Beispielsweise wird zum Auslesen der ak- 
tuellen Uhrzeit von alien Einheiten der Time -of -Day- Counter 
(ToD) der Master-Einheit verwendet, um sicherzustellen, daS 
alle Einheiten beim Auslesen des ToD-Counters mit exakt der- 
selben Uhrzeit versorgt werden, d.h. nur die einer Verarbei- 
tungseinheit zugeordneten Register werden angesprochen. Er- 
eignisse, wie z.B. Interrupts, die auf anderen Einheiten 
stattfinden, mussen dann an die Mastereinheit ubermittelt 
werden. Schreibende Zugriffe in diese Register mussen auf al- 
ien Einheiten stattfinden bzw. im Hauptspeicher in Schatten- 
registern hinterlegt werden, um im Fehlerfall mit korrekten 
Daten mit einer neuen Mastereinheit weiterarbeiten zu konnen. 
Dies kann entweder mittels Software oder Hardware gesteuert 
werden . 

Im folgenden werden einzelne Transaktionen und die anhand 
dieser Transaktionen stattf indenden Synchronisationsvorgange 
naher beschrieben. 

Lesende Transaktionen 

Der Read-Befehl einer CPU einer Verarbeitungseinheit PRO 
liest Daten- aus 'einer I/O-Einheit. Ein-solcher Lesebefehl ist 
in Figur 4 illustriert, es handelt sich beispielhaft um den 
Befehl load rl, [0x87654321] . Dieser Befehl wird von alien 
CPUs an der gleichen Stelle in der Befehl sausfiihrung gene- 
riert und ist an eine bestimmte I/O-Einheit, beispielsweise 
I/O 0 , Oder ein Master-Register gerichtet. Der Zeitpunkt des 
Read-Be fehls kann jedoch bei den CPUs unterschiedlich sein. 
In Figur 4 erreicht CPU 0 den genannten Lesebefehl spater als 
CPU X . 

Die von der CPU erzeugte I/O- Adresse bzw. Speicher-Adresse 
und die Attribute der Transaktion, z.B. Memory Read oder 1/0- 
Read oder Datenlange, oder eine aus Adresse und Attributen 
erzeugte Signatur wird von dem an die CPU direkt angeschlos- 
senen Equalizer an alle anderen Equalizer gesendet . Erst wenn 
der Equalizer, der an die adressierte I/O-Ressource ange- 
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schlossen ist, erkennt , dafi die Leseanf orderung von alien 
CPUs generiert worden ist, ward der eigentliche Lesezugriff 
ausgef uhrt . Die gelesenen Daten werden bei Master-Slave Kon- 
figurationen an alle Equalizer verteilt, die danach den Read- 
5 Befehl der jeweils angeschlossenen CPU abschlieSen, indem sie 
die Daten an die CPU weitergeben. Die Daten konnen zu unter- 
schiedlichen Zeitpunkten bei der CPU eintreffen, jedoch wird 
dadurch die weitere Programmausf uhrung nicht beeintrachtigt . 

10 Sollte die I/O-Adresse bzw. Signatur bei einem Equalizer ab- 
weichen, so wird der Lesezugriff entweder nicht ausgef uhrt 
und ein Fehlerinterrupt generiert, beispielsweise ein nicht 
maskierbarer Interrupt NMI zur CPU, Oder es wird eine Mehr- 
heitsentscheidung, z.B. 2 aus 3, getroffen, falls es sich um 

15 eine Konf iguration mit 3 vorhandenen CPUs handelt. Die feh- 
lerhafte Einheit wird getrennt und diagnostiziert . 

Zur Erkennung von Ausf alien einzelner Einheiten werden die 
Lesezugriff e zeitlich iiberwacht, d.h. die Read-Befehle aller 
2 0 CPUs mussen in einer gewissen, vorgebbaren Zeit generiert 
werden. Wird diese Zeitspanne zwischen den Befehlen uber- 
schritten, wird ein Timeout generiert, die ausgef allene Ein- 
heit wird getrennt und diagnostiziert. 

25 Lesende Zugriffe werden in der Reihenfolge ihres Auftretens 
bearbeitet. Ein Uberholen ist nicht vorgesehen. 

Schreibende Transaktionen 

Der Write-Befehl schreibt Daten in eine I/O-Einheit oder eine 
30 Speicher-Einheit . Er wird von alien CPUs an der gleichen 

Stelle in der Befehlsausf uhrung generiert und ist beispiels- 
weise an eine bestimmte I/O-Einheit gerichtet, z.B. I/O 0 . Der 
Zeitpunkt des Write-Bef ehls kann jedoch bei den CPUs unter- 
schiedlich sein. 

35 

Die beispielsweise von der CPU erzeugte I/O-Adresse, das Da- 
tum und die Attribute oder eine daraus berechnete Signatur 
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wird von detn direkt angeschlossenen Equalizer an alle anderen 
Equalizer gesendet . Erst wenn die Schreibanf orderung von al- 
ien CPUs generiert worden ist und durch den Equalizer vali- 
diert wurde. wird der eigentliche Schreibzugrif f ausgef uhrt . 



e 

r 
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Sollten die I/O-Adresse, das Datum und/oder die Attribut 
bzw. die Signatur bei einem Equalizer abweichen, so wird de 
Schreibzugriff entweder nicht ausgefxihrt und ein Fehlerinte 
rupt generiert, beispielsweise ein nicht maskierbarer Inter- 
rupt NMI zur CPU, Oder es wird eine Mehrheitsentscheidung 
z.B. 2 aus 3, getroffen, falls es sich urn eine Konf iguration 
mit 3 vorhandenen CPUs handelt. Die fehlerhafte Einheit wird 
getrennt und diagnostiziert. 

Zur Erkennung von Ausfallen einzelner Einheiten werden die 
Schreibzugrif fe zeitlich uberwacht, d.h. die Write-Bef ehle 
aller CPUs mussen in einer gewissen, vorgebbaren Zeit gene- 
riert werden. Wird diese Zeitspanne zwischen den Befehlen 
uberschritten, wird ein Timeout generiert, die ausgef allene 
Einheit wird getrennt und diagnostiziert. 

Schreibende Zugriffe werden in der Reihenfolge ihres Auftre- 
tens bearbeitet. Ein Uberholen ist nicht vorgesehen. Es ist 
jedoch moglich, daS mehrere Schreibzyklen von der CPU erzeugt 
werden (sogenannte Posted Writes) . Fur die Behandlung dieser 
mehrfachen schreibenden Transaktionen kann ein entsprechend 
dimensionierter first- in-first -out -Speicher (nicht darge- 
stellt) vorgesehen werden. 



Interrupts 

Die den Programmablauf beeinf lussenden externen Ereignisse 
werden der CPU nicht direkt zugefuhrt, sondern von einer ge- 
eignet gestalteten Hardware zunachst gepuffert. Diese Hard- 
ware kann dabei Bestandteil eines Bausteins auSerhalb der CPU 
oder Bestandteil der CPU selbst sein. Die CPU enthalt einen 
Zahler CIC (Completed Instruction Counter) , der Instruktionen 
oder Maschinenbefehle zahlt, welche die CPU komplett ausge- 
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fuhrt hat. Die CPU enthalt ferner ein Register MIR (Maximum 
Instruction Register) , das von einer den emulierten Lockstep 
Betrieb unterstutzenden Software (ELSO) beschrieben wird. 

5 Ferner weist die CPU den Komparator oder Vergleicher K auf, 
der die Anzahl der ausgef uhrten- Bef ehle, also den Zahler CIC, 
mit dem Register MIR vergleicht und bei Gleichheit beispiels- 
weise eine Interrupt -Anforderung generiert, der die Be- 
f ehlsausf uhrung nach der Zahl der durch das Register MIR vor- 

10 gegeben Instruktionen unterbricht und die CPU in einen ande- 
ren Betriebsmodus schaltet. In diesem Betriebsmodus wird bei- 
spielsweise geeigneter Microcode ausgef uhrt oder in eine In- 
terrupt Service Routine verzweigt oder per Hardware- Signalen 
das Erreichen dieses Synchronisationspunktes angezeigt. In 

15 diesem Betriebsmodus werden dann den redundanten CPUs die ex- 
ternen Ereignisse so prasentiert, daS nach dem Verlassen die- 
ses Betriebsmodus alle CPUs diese Ereignisse gleich bewerten 
konnen und somit in der Folge die gleichen Befehle ausfuhren 
werden. 

20 

Beispielsweise verzweigt die CPU nach Erreichen der durch das 
Register MIR vorgegeben Anzahl von Maschineninstrukt ionen in 
eine Interrupt Service Routine, in welcher der Zustand von 
durch die beschriebene Hardware von der CPU f erngehaltenen 

25 Interrupt Signalen so abgefragt wird, dafi eine redundante 
CPU, die ggf- diese Abfrage zu einem geringfugig spateren 
Zeitpunkt stellt, die identische Auskunft erhalt . Diese Ab- 
frage ist beispielsweise ein lesender Zugriff auf ein inter- 
ruptregister . Dieser lesende Zugriff wird wie oben beschrie- 

30 ben behandelt, wodurch sichergestell t ist, daS alle CPUs den 
gleichen Interruptvektor lesen und die gleichen Aktionen ein- 
leiten. 

Vor dem Verlassen des gesonderten Betriebsmodus wird der Zah- 
35 ler CIC zuriickgeset zt . AnschlieSend wird zu der Programmstel- 
le zuruckgesprungen, an der die Unterbrechung durch das Er- 
reichen des durch das Register MIR vorgegeben Zahlerwertes 
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CIC stattgef unden hat . Danach wird die CPU wieder die durch 
das Register MIR vorgegebene Anzahl von Maschineninstruktio- 
nen ausfuhren und bei Erreichen des Registerwertes MIR durch 
Zahler CIC den Mode wechseln und dadurch die Annahme von ex- 
5 ternen Ereignissen ermoglichen. 

Beispielsweise kann eine den emulierten Lockstep-Betrieb un- 
terstutzende Software ELSO das Register MIR auf einen Wert 
von 10.000 setzen. Eine CPU, die mit 5 GHz Taktfrequenz be- 
10 trieben wird und im Mittel einen Maschinenbef ehl pro Takt 

(Lange eines Taktes: 1/200 ps) ausfuhrt, wurde so nach 2 /zs 
in der Bef ehlsausf iihrung unterbrochen werden und die Synchro- 
nisation mit externen Ereignissen ermoglichen. 

15 Direkter Speicherzugrif f DMA 

Bei einer DMA-Transaktion (Direct Memory Access) kann eine 
I/O-Einheit direkt auf den Hauptspeicher lesend und schrei- 
bend zugreifen. Der zeitliche Zusammenhang eines Zugriffs von 
der I/O-Einheit und der CPU ist nicht gegeben. Wurde die CPU 
2 0 wahrend eines DMA-Transfers auf denselben Speicherbereich 

zugreifen, so konnten Verarbeitungseinheiten ihre pseudosyn- 
. - chrone .Arbeitsweise verlieren, da die Hauptspeicher der Ver- 
arbeitungseinheiten zum Zeitpunkt des Zugriffs nicht mehr 
notwendigerweise identisch sind. 

25 

Fur eine DMA-Transaktion muS daher gewahrleistet sein, daS 
eine Benachrichtigung an die CPU gesendet wird, die auf alien 
CPUs an der gleichen Stelle in der Bef ehlsausf uhrung ein- 
trif f t . Im folgenden werden hierfur mehrere Losungen aufge- 
30 zeigt. 

Beispielsweise kann die Benachrichtigung erfolgen, indem 
die I/O-Einheit nach AbschluS des DMA-Transfers einen In- 
terrupt erzeugt, welcher der CPU bekannt gibt, daS der 
35 Transfer abgeschlossen und der . transf erierte Speicherbe- 

reich wieder freigegeben ist. Als Folge des Interrupts 
wird der Interrupt-Status von der Quelle, also von der 
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I/O-Einheit, gelesen. Dieses Lesen uber den I/O-Bus bei- 
der Einheiten, z.B. den PCI-Bus, erzwingt eine Seriali- 
sierung der Transaktionen, so daS von den I/O-Einheiten 
generierte Daten in der Folge garantiert im Hauptspeicher 
aller Verarbeitungseinheiten stehen. 

- In einer anderen Ausgestaltung kann bei der Ubergabe von 
durch die CPU einer Verarbeitungseinheit generierten Auf- 
trage an die I/O-Einheiten durch die CPU ein Eintrag in 
ein Register erfolgen, was den DMA-Transfer auslost. Al- 
ternativ konnen Scripts oder Listen, die sowohl von CPU 
als auch von der I/O-Einheit gleichzeitig benutzt werden, 
als lokaler Speicher bei der I/O-Einheit liegen. Ein mog- 
licher Zugriff von der CPU geschieht dann wie ein memory 
mapped Read- oder Write-Bef ehl , und es ist sicherge- 
stellt, daS alle CPUs mit denselben Daten arbeiten. 

In der anderen Richtung, wenn ein von der I/O-Einheit 
bzw. den I/O-Einheiten generierter Deskriptor des Auftra- 
ges fur die CPU im Hauptspeicher einer Verarbeitungsein- 
heit PRO liegen soil und von den CPUs mit einem Polling- 
Verfahren ausgelesen wird, lesen die CPUs ein sogenanntes 
I/O-lockout -Register . Daraufhin wird vom Equalizer zumin- 
dest keine Schreibtransaktion der I/O-Einheiten mehr in 
den lokalen Hauptspeicher der Verarbeitungseinheiten PRO 
gesendet, und die zuletzt von den I/O-Einheiten gesende- 
ten Schreibtransaktionen werden durch die Equalizer in 
die lokalen Hauptspeicher aller Verarbeitungseinheiten 
geschrieben. Dies wird haufig als "to flush" (ausspulen) 
bezeichnet. Dadurch wird gleicher Inhalt in den Haupt- 
speichern aller Verarbeitungseinheiten in Bezug auf von 
I/O-Einheiten generierte Schreibtransaktionen sicherge- 
stellt. Anschliefiend wird die Speicherstelle im Haupt- 
speicher von alien CPUs gelesen, deren Wert z.B. den 
AbschluS eines I/O-Auftrags anzeigt. Danach wird das 1/0- 
lockout Register erneut gelesen oder geschrieben oder es 
wird ein I/O-free Register gelesen oder geschrieben, urn 
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den Schreibzugrif f auf den Hauptspeicher durch die I/O- 
Einheiten wieder zu ermoglichen. 

- In einer weiteren Ausgestaltung Jcann das folgende Verfah- 
ren angewandt werden, wenn der von der CPU bzw. den CPUs 
generierte Deskriptor des Auftrages fur die I/O-Einheiten 
im Hauptspeicher der PRO liegen soli, und von diesen per 
Polling- Verf ahren ausgelesen wird: Die CPUs lesen ein so- 
genanntes I/O-lockout Register. Daraufhin wird von Equa- 
lizer zumindest keine Lesetransaktion der I/O-Einheiten 
mehr zum Hauptspeicher der Verarbeitungseinheiten gesen- 
det. AnschlieSend wird die Speicherstelle im Hauptspei- 
cher aller CPUs mit einem Wert beschrieben, der einen 
Trigger bzw. Ausloser fur einen I/O-Auftrag darstellt. 
Danach wird das I/O-lockout Register erneut gelesen oder 
beschrieben oder es wird ein I/O-free Register gelesen o- 
der beschrieben, urn den Lesezugriff auf den Hauptspeicher 
durch die I/O-Einheiten wieder zu ermoglichen. 

Datenverglei ch 

Alle Daten, die von I/O-Einheiten aus dem Hauptspeicher gele- 
sen werden, werderi durch alle Equalizer aus dem Hauptspeicher 
der angeschlossenen Verarbeitungseinheiten gelesen, vollstan- 
dig oder als Signatur, und an den an die anfordernde I/O- 
Einheit angeschlossenen Equalizer gesendet und von diesem 
verglichen. Alternativ konnen die anderen Equalizer ebenfalls 
einen Vergleich durchfuhren. Im Falle von Gleichheit werden 
die Daten an die I/O-Einheit weitergereicht . Falls ein Unter- 
schied erkannt wird, wird gegebenenf alls eine Mehrheitsent- 
scheidung getroffen, z.B. 2 aus 3, und die fehlerhafte Ein- 
heit wird abgetrennt und diagnostiziert . 

Alle Daten, die von den CPUs der Verarbeitungseinheiten gene- 
riert werden, werden vollstandig oder als Signatur an den an 
die Ziel -I/O-Einheit angeschlossenen Equalizer gesendet und 
durch diesen verglichen. Alternativ konnen die anderen Ein- 
heiten ebenfalls einen Vergleich durchfuhren. Im Falle von 
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Gleichheit werden die Daten an die I/O-Einheit weiterge- 
reicht. Falls ein Unterschied auftfitt, wird gegebenenf alls 
eine Mehrheitsentscheidung getroffen, z.B. 2 aus 3, und die 
fehlerhafte Einheit wird abgetrennt und diagnostiziert . 

Alle durch die CPUs der Verarbeitungseinheit generierten Le- 
seanforderungen, charakterisiert beispielsweise durch das Le- 
sekommando, Adressen und Attribute werden vollstandig oder 
als Signatur an den. an die Quelle angeschlossenen Equalizer 
gesendet und von diesem verglichen. Alternativ konnen die an- 
deren Einheiten ebenfalls einen Vergleich durchf uhren . Im 
Falle von Gleichheit werden die Lesetransaktionen durchge- 
fiihrt, und die gelesenen Daten an alle Equalizer gesendet. 
Falls eine Abweichung auftritt, wird gegebenfalls eine Mehr- 
heitsentscheidung getroffen, z.B. 2 aus 3, und die fehlerhaf- 
te Einheit wird abgetrennt und diagnostiziert. 

Bei emuliertem Lockstep werden Lese- und Schreibtransaktionen 
der CPU bezuglich ihres lokalen Hauptspeichers MEM nicht ver- 
glichen, da diese vollkommen unterschiedlich sein konnen, 
z.B. aufgrund unterschiedlicher spekulativer Zugriffe der 
CPUs oder unterschiedlichem Cache-Verhal ten . Um die Inhalte 
von Speicherbereichen der unterschiedlichen Verarbeitungsein- 
heiten PRO auf Gleichheit zu uberprufen, mug eine Uberprufung 
durch z.B. eine Routining -Software zu einem Zeitpunkt ange- 
stoSen werden, zu dem man sicherstellen kann, daS die Spei- 
cherinhalte im fehlerfreien Zustand konsistent sind und fur 
die Dauer der Uberprufung konsistent bleiben. Die Spei- 
cheriiberprufung selbst kann durch Software erfolgen, d.h. die 
Software/CPU liest z.B. einen Speicherbereich, bildet eine 
Prufsumme und vergleicht die von den unterschiedlichen Verar- 
beitungseinheiten ermittelten Prufsummen. Die Speicheruber- 
prufung kann aber auch durch Hardware erfolgen, indem z.B. in 
den Equal izern angeordnete Vorrichtungen den Speicher der an- 
geschlossenen Verarbeitungseinheiten lesen, eine Checksumme 
bilden und untereinander vergleichen. 
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Multiprozessor-Archi tektur mit shared memory 

Der emulierte Lockstep-Betrieb ist auch dazu geeignet, Spei- 
cherzugriffe mehrerer Verarbeitungseinheiten auf einen ge~ 
meinsamen Speicher (shared memory) CMEM zu synchronisieren 
5 und einen wie oben beschrieben Datenvergleich durchzuf uhren, 
vorausgesetzt , dafi die Transaktionen den eingangs erlauterten 
Randbedingungen genugen; beispielsweise also non-cachable 
Spei chert ransakt ionen . 

10 Damit ist es in einer Weiterbildung moglich, Multiprozessor- 
Konfigurat ionen zu definieren, die aus mehreren Prozessorein- 
heiten (mit lokalen Speichern) bestehen, die alle auf einen 
gemeinsamen Speicher CMEM zugreifen konnen . Dabei ist jede 
Prozessoreinheit aus Grunden der Redundanz und zur Fehlerer- 

15 kennung in sich gedoppelt, d.h. eine Prozessoreinheit besteht 
aus zwei identischen Verarbeitungseinheiten PRO (nicht darge- 
stellt) , die in der oben beschriebenen Weise alle Tasks pa- 
rallel ausf uhren und sich u.a. bei Zugriff auf den gemeinsa- 
men Speicher synchronisieren und dabei einen Datenvergleich 

2 0 ausf uhren. 
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Patent anspriiche 

1. Verfahren zur Synchronisation identischer oder verschiede- 

ner, redundanter Verarbeitungseinheiten (PRO 0/ PROi) , die 
identische Instruktionsf olgen abarbeiten und synchron o- 
der asynchron getaktet sind, demgemaS nach auSerhalb der 
Verarbeitungseinheiten (PRO 0 , PRO x ) wirkende Transaktio- 
nen durch den Verarbeitungseinheiten (PRO 0 , PROi) zuge- 
ordnete Bausteine (EQ 0 , EQ X ) zur Synchronisation der Ver- 
arbeitungseinheiten (PRO 0 , PROi) verwendet werden, indem 
die Verarbeitungseinheiten jeweils durch die zugeordneten 
Bausteine in einen Wartezustand versetzt werden, bis die 
Instruktionsausf uhrung aller Verarbeitungseinheiten die 
aktuelle Transaktion erreicht hat. 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, 

daS durch die Bausteine (EQ 0 , EQJ folgende Transaktionen 

zur Synchronisation der Verarbeitungseinheiten <PRO 0 , 

PROi) verwendet werden: 
- nicht - zwischenspeicherbare Speichertransaktionen betref- 

fend einen den jeweiligen Verarbeitungseinheiten _(PRO 0 , 

PROi) zugeordneten lokalen Speicher (MEM 0 , MEM X ) und/oder 
Eingabe/Ausgabetransaktionen zu Eingabe/Ausgabebausteinen 

<I/O 0 , I/Oi) und/oder 
speicherabgebildete Ein/Ausgabe transaktionen zu externen 

Regi stern (REG 0 , REGi) und/oder 

nicht- zwischenspeicherbare Speichertransaktionen betref- 
fend einen gemeinsamen Speicher (CMEM) der Verarbeitungs- 
einheiten (PRO 0 , PROi) . 

3. Verfahren nach einem der Anspruche 1 oder 2, 

dadurch gekennzeichnet, 

daS durch die Bausteine (EQ 0 , EQi) folgende Parameter von 
Transaktionen uber Verbindungen (L 0 , L x ) zur Synchronisa- 
tion der Verarbeitungseinheiten (PRO 0 , PRO x ) ubermittelt 
werden : 
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Eingabe/Ausgabeadressen und/oder 
Speicheradressen und/oder 
zu transf erierende Daten und/oder 
Art der Transaktion und/oder 

eine aus den Eingabe/Ausgabeadressen und/oder den Spei- 
cheradressen und/oder den zu transf erierenden Daten 
und/oder der Art der Transaktion gebildete Signatur. 

4 . Verf ahren nach Anspruch 3 , 

da dure h gekennzeichnet , . 

dafi eine lesende Transaktion ausgefuhrt wird, indem der 
einer Verarbeitungseinheit zugeordnete Baustein die Ver- 
arbeitungseinheit bis zum Eintreffen der zu lesenden Da- 
ten im Wartezustand belaSt und den oder die Parameter der 
lesenden Transaktion an den am direktesten mit dem Trans- 
aktionsziel (I/O 0 , I/Oi, MEM 0 , MEM X , REG 0/ REGi, CMEM) ver- 
bundenen Baustein sendet, wobei der am direktesten mit 
dem Transaktionsziel verbundene Baustein den oder die Pa- 
rameter der anderen Bausteine sowie den oder die lokal 
erzeugten Parameter empfangt und vergleicht und bei Uber- 
einstimmung die lesende Transaktion ausfuhrt und die ge- 
•- lesenen- Daten an alle Bausteine verteilt, woraufhin alle 
Bausteine die gelesenen Daten an die zugeordneten Verar- 
beitungseinheiten weiterleiten und die Fortsetzung der 
Instruktionsausf uhrung veranlassen . 

5. Verf ahren nach Anspruch 4, 

dadurch gekennzeichnet, 

dafi ein Datenvergleich zur Uberprufung der Datenintegri- 
tat durchgefuhrt wird, indem regelmafiig oder auf Anforde- 
rung Datenbereiche aus den Hauptspeichern (MEM 0/ MEMi) 
gelesen und ihre Parameter verglichen werden, wobei der 
Vergleich durch einen ausgewahlten oder durch alle Bau- 
steine erf olgt . 

6 . Verf ahren nach Anspruch 3 , 

dadurch gekennzeichnet, 
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daS eine schreibende Transaktion ausgefuhrt wird, indem 
der einer Verarbeitungseinheit zugeordnete Baustein die 
Verarbeitungseinheit bis zum AbschluS des Schreibenvor- 
ganges im Wartezustand belaSt und den oder die Parameter 
der schreibenden Transaktion an den am direktesten mit 
dem Transaktionsziel (I/O 0 , I/Oi. MEM„, MEM X , REG 0 , REd, 
CMEM) verbundenen Baustein sendet, wobei der am direktes- 
ten mit dem Transaktionsziel verbundene Baustein den oder 
•die Parameter der anderen Bausteine sowie den oder die 
lokal erzeugten Parameter empfangt und vergleicht und bei 
Ubereinstimmung die schreibende Transaktion ausfuhrt und 
den erfolgten Schreibvorgang an alle Bausteine quittiert, 
woraufhin alle Bausteine die Fort set zung der Instrukti- 
• onsausfiihrung der zugeordneten Verarbeitungseinheiten 
veranlassen. 

7 . Verf ahren nach Anspruch 3 , 

dadurch gekennzeichnet , 

daS externe Ereignisse behandelt werden, indem die exter- 
nen Ereignisse zwischengespeichert werden, wobei die ge- 
speicherten externen Ereignisse in einem gesonderten Be- 
triebsmodus der Verarbeitungseinheiten zur Verarbeitung 
durch zumindest je eine Ausf uhrungseinheit der Verarbei- 
tungseinheiten abgerufen werden und wobei die Verarbei- 
tungseinheiten in diesen Betriebsmodus ansprechend auf 
die Erfullung einer durch Befehle vorgebbaren oder fest 
vorgegebenen Bedingung eintreten und die Fort set zung der 
Instruktionsausfuhrung durch die Bausteine (EQ 0 , E Qi) 
verzogert wird, bis alle Verarbeitungseinheiten den ge- 
sonderten Betriebsmodus beendet haben. 

8 . Verf ahren nach Anspruch 7 , 

dadurch gekennzeichnet, 

daS der Wechsel in den gesonderten Betriebsmodus ausge- 
fuhrt wird, falls durch Komparatorelemente (K) der Verar- 
beitungseinheiten die Ubereinstimmung von Zahlelementen 
(CIC) mit Registerelementen (MIR) ermittelt wird, wobei 
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der Inhalt der Registerelemente (MIR) durch Befehle vor- 
gebbar und fur alle Verarbeitungseinheiten {PRO 0 , PROx) 
identisch ist und das Zahlelement (CIC) die Anzahl der 
durch die Ausf uhrungseinheit ausgefuhrten Instruktionen 
seit dem letzten Wechsel in den gesonderten Betriebsmodus 
enthalt . 

9. Verfahren nach einem der Anspruche 7 oder 8, 
dadurch gekennzeichnet, 

da£ die den Verarbeitungseinheiten zugefuhrten externen 
Ereignisse eine Ereignisbehandlungsroutine auslosen, die 
mit der lesenden Transaktion eines Ereignisvektors be- 
ginnt r wobei die lesende Transaktion ausgefuhrt wird, in- 
detn der der Verarbeitungseinheit zugeordnete Baustein die 
Verarbeitungseinheit bis zum Eintreffen der zu lesenden 
Daten im Wartezustand belaSt und den oder die Parameter 
der lesenden Transaktion an den am direktesten mit dem 
Transaktionsziel <I/O 0 , l/O x , MEM 0 , MEMi, REG 0 , REGi , CMEM) 
verbundenen Baustein sendet, wobei der am direktesten mit 
dem Transaktionsziel verbundene Baustein den oder die Pa- 
rameter der anderen Bausteine sowie den oder die lokal 
erzeugten Parameter empfangt und vergleicht und be i Uber- 
einstimmung die lesende Transaktion ausfiihrt und die ge- 
lesenen Daten an alle Bausteine verteilt, woraufhin alle 
Bausteine die gelesenen Daten an die zugeordneten Verar- 
beitungseinheiten weiterleiten und die Fortsetzung der 
Inst rukt ionsausf uhrung veranlassen , 

10. Verfahren nach Anspruch 3, 

dadurch gekennzeichnet, 

dafi ein direkter Speicherzugrif f zur Ubertragung von Da- 
ten aus dem Speicher an einen Eingabe/Ausgabebaustein 
(I/O 0/ I /Ox) erfolgt, indem der direkte Speicherzugrif f 
initiiert wird, indem von einer Verarbeitungseinheit ge- 
nerierte Auftrage an den Eingabe/Ausgabebaustein durch 
Eintrag in ein Register iibergeben werden. 
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11. Verfahren nach Anspruch 3, 
dadurch gekennzeichnet, 

daS ein direkter Speicherzugrif f zur Ubertragung von Da- 
ten von einem Eingabe/Ausgabebaustein (I/O 0/ I/Oi) in den 
5 Speicher erfolgt, 

indem in einem ersten Schritt ein von dem Eingabe/Aus- 
gabebaustein erzeugter Deskriptor im Speicher abgelegt 
und von den Verarbeitungseinheiten mit einem Polling- 
Verfahren ausgelesen wird, 
10 - indem in einem zweiten Schritt ein Register in einem der 
Bausteine (EQ 0 , EQi) durch die Verarbeitungseinheiten ge- 
lesen wird, das bewirkt, daS keine Schreibtransaktionen 
in den Speicher durch E ingabe / Ausgabebaus t e ine mehr zu- 
lassig sind, 

15 - indem in einem dritten Schritt die zuletzt von den Einga- 
be /Ausgabebaus teinen gesendeten Schreibtransaktionen 
durch die Bausteine (EQ 0 , EQi) in die Speicher aller Ver- 
arbeitungseinheiten geschrieben werden, 

indem in einem vierten Schritt eine Speicherstelle im 
20 Speicher von alien Verarbeitungseinheiten gelesen wird, 

deren Wert den Abschlufi eines direkten Speicherzugrif fs 
anzeigt, und . . . . 

indem in einem funften Schritt das Register erneut gele- 
sen wird oder indem ein weiteres Register gelesen Oder 
25 beschrieben wird, urn den Schreikzugrif f auf den Haupt- 

speicher durch die I/O-Einheiten wieder zu ermoglichen. 

12. Verfahren nach Anspruch 3, 
dadurch gekennzeichnet, 

30 daS ein direkter Speicherzugrif f zur Ubertragung von Da- 

ten zwischen einem Eingabe/Ausgabebaustein (I/0 0/ I/Oi) 
und dem Speicher erfolgt, 

indem in einem ersten Schritt ein Register in einem der 
Bausteine (EQ 0/ EQi) durch die Verarbeitungseinheiten ge- 
35 lesen wird, das bewirkt, dafi keine Lesetransaktionen in 

den Speicher durch die Eingabe/Ausgabebausteine mehr zu- 
lassig sind, 
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indem in einem zweiten Schritt ein von den Verarbeitungs- 
einheiten erzeugter Deskriptor ' im Speicher abgelegt wird, 
der durch einen oder mehrere -Eingabe/Ausgabebaustein (e) 
(I/Oo, I/Oi) mit einem Polling-Verf ahren auslesbar ist, 
- indem in einem dritten Schritt das Register erneut gele- 
sen wird oder indem ein weiteres Register gelesen oder 
beschrieben wird, urn den Lesezugriff auf den Hauptspei- 
cher durch die i/O-Einheiten wieder zu ermoglichen, und 
indem in einem vierten Schritt eine Speicherstelle im 
Speicher von einem oder mehreren Eingabe/Ausgabebau- 
stein(en) <I/O 0 , T/0 ± ) gelesen wird, deren Wert den Be- 
ginn eines direkten Speicherzugrif f s anzeigt 

13. Verfahren nach einem der Anspruche 4 bis 8 # 
dadurch gekennzeichnet, 

dalS durch den am direktesten mit dem Transaktionsziel 
verbundene Baustein bei Feststellung einer Abweichung der 
Parameter der anderen Bausteine sowie des oder der lokal 
erzeugten Parameter (s) eine Fehlerbehandlung eingeleitet 
wird. 

14 ; Verfahren hach- Anspruch 13, - - - * 

dadurch gekennzeichnet, 

daJS die Fehlerbehandlung die auszuf uhrende Transaktion 
stoppt und eine Routine zur -Detektion der f ehlerhaf ten 
Einheit, deren Isolierung und/oder Wiederherstellung der 
Synchronitat startet . 

15. Verfahren nach Anspruch 13, 
dadurch gekennzeichnet, 

dalS die Fehlerbehandlung bei N vorhandenen Verarbeitungs- 
einheiten eine N-M (M < N) aus N Mehrheitsentscheidung 
trifft und die abweichende Verarbeitungseinheit deakti- 
viert. 

16. Verfahren nach einem der Anspruche 3 bis 15, 
dadurch gekennzeichnet, 
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daS eine Ausf allerkennung einzelner Verarbeitungseinhei - 
ten erfolgt, indem fur eine beliebige Transaktion begin- 
nend mit dem fruhesten Verf ugbarwerden des oder der Para- 
meter (s) beim Baustein einer Verarbeitungseinheit nicht 
5 oder erst nach Ablauf einer vorgebbaren Zeit eintreffende 

Parameter verworfen werden, wobei fur Verarbeitungsein- 
heiten mit nicht oder erst nach Ablauf der vorgebbaren 
Zeit eintref fenden Parametern eine Fehlerbehandlung ini- 
tiiert wird. 

10 

17. Anordnung zur Synchronisation synchron oder asynchron ge- 
takteter Verarbeitungseinheiten (PRO 0/ PROi) redundanter 
Datenverarbeitungssysteme, die folgendes aufweist: 
mindestens zwei Verarbeitungseinheiten (PRO 0/ PROi) zur 

15 Abarbeitung identischer Instruktionsf olgen, 

- den Verarbeitungseinheiten jeweils exklusiv zugeordnete 

Peripherie (MEM 0 , MEMi) zum Speichern und/oder Austau- 
schen von Daten, 

- von alien Verarbeitungseinheiten gemeinsam nutzbare Peri- 
2 0 pherie (I/O 0 , l/0 lf REG 0 , REGi, CMEM) zum Speichern 

und/oder Austauschen von Daten, 

- den Verarbeitungseinheiten zugeordnete Bausteine (EQ 0 , 
EQi) , wobei die Bausteine (EQ 0/ EQi) Mittel zum Uberwachen 
von Transaktionen sowie Mittel zum Auslosen eines Warte- 

2 5 zustandes der zugeordneten Verarbeitungseinheit bis zum 

Erreichen der aktuellen Transaktion durch alle Verarbei- 
tungseinheiten aufweisen sowie Mittel (L 0/ Li) zum Uber- 
tragen von Parametern der Transaktionen an andere Bau- 
steine . 

30 

18. Anordnung nach Anspruch 17, 
dadurch gekennzeichnet, 

daS die Bausteine (EQ 0 , EQx) Mittel zum Synchronisieren 
der Verarbeitungseinheiten anhand folgender Transaktionen 
35 aufweisen: 
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- nicht-zwischenspeicherbare Speichertransaktionen betref- 

fend einen den jeweiligen Verarbeitungseinheiten (PRO 0 , 
PROi) zugeordneten lokalen Speicher (MEM 0 , MEMi) und/oder 

- Eingabe/Ausgabetransaktionen zu Eingabe/Ausgabebausteinen 

(I/O 0 , I/Ox) und/oder 

- speicherabgebildete Ein/Ausgabetransaktionen zu externen 
Regi stern (REG 0 , REGi) und/oder 

- nicht-zwischenspeicherbare Speichertransaktionen betref- 

fend einen gemeinsamen Speicher (CMEM) der Verarbeitungs- 
einheiten (PRO 0 , PROi) . 

19. Anordnung nach einem der Anspruche 17 oder 18, 
dadurch gekennzeichnet, 

dafi die Bausteine Mittel zum Bilden folgender Parameter 
reprasentativ fur Transaktionen aufweisen: 

- Eingabe/Ausgabeadressen und/oder 
Speicheradressen und/oder 

zu transf erierende Daten und/oder 

- Art der Transaktion und/oder 

- eine aus den Eingabe/Ausgabeadressen und/oder den Spei- 
cheradressen und/oder den zu transf erierenden Daten 
und/oder der Art der Transaktion gebildete Signatur. - 

20. Anordnung nach einem der Anspruche 17 bis 19, wobei jede 
Verarbeitungseinheit folgendes aufweist: 

- mindestens eine Ausfuhrungseinheit (EU) , 

- mindestens ein Zahlerelement (CIC) zum Zahlen der durch 
die Ausfuhrungseinheit ausgefuhrten Instrukt ionen seit 
dem letzten Wechsel in den gesonderten Betriebsmodus, 

- mindestens ein Registerelement (MIR) , dessen Inhalt durch 
Befehle vorgebbar oder fest vorgegeben ist, 

- mindestens ein Komparatorelement (K) zum Umschalten der 
Ausfuhrungseinheit (EU) in einen gesonderten Betriebsmo- 
dus ansprechend auf die Ubereinstimmung des Zahlelementes 
(CIC) mit dem Registerelement (MIR) , wobei in dem geson- 
derten Betriebsmodus zwischengespeicherte , den Prozessor- 
bausteinen zuzufuhrende externe Ereignisse, welche die 
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Prozessorbausteine beeinf lussen, durch die Prozessorbau- 
steine abgerufen werden. 
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Verfahren zur Ereignissynchronisation, insbesondere fur Pro- 
zessoren f ehlertoleranter Systeme 

Fur redundante Systeme werden vielfach identisch aufgebaute 
Prozessorboards vorgesehen, die im Lockstep-Betrieb arbeiten. 
Die grundlegende Voraussetzung fur die Implementierung eines 
Lockstep Systems ist das determinist ische Verhalten aller im 
Board enthaltenen Komponenten, also CPUs , Chip Sets, Haupt- 
speicher etc. Deterministisches Verhalten bedeutet dabei, daS 
diese Komponenten im fehlerfreien Fall identische Ergebnisse 
zu identischen Zeitpunkten liefern, wenn die Komponenten i- 
dentische Stimuli zu identischen Zeitpunkten erhalten. Deter- 
ministisches Verhalten setzt ferner die Verwendung taktsyn- 
chroner Schnittstellen voraus . Asynchrone Schnittstellen be- 
wirken im System in vielen Fallen eine gewisse zeitliche Un- 
scharfe, wodurch das taktsynchrone Gesamtverhalten des Sys- 
tems nicht aufrecht erhalten werden kann. Um dennoch einen 
Lockstep-Betrieb durchfuhren zu konnen, sieht die vorliegende 
Erfindung ein im Unterschied zu bekannten Sof twarelosungen in 
Hardware realisiertes Verfahren zur Synchronisation identi- 
scher oder verschiedener, redundanter Verarbeitungseinheiten 
(PRO 0 , PROi) , die identische Instruktionsf olgen abarbeiten 
und synchron oder asynchron getaktet sind, vor, demgemafi nach 
auSerhalb der Verarbeitungseinheiten (PRO 0/ PROi) wirkende 
Transaktionen durch den Verarbeitungseinheiten (PRO 0 , PROi) 
zugeordnete Bausteine (EQ 0/ EQ X ) zur Synchronisation der Ver- 
arbeitungseinheiten (PRO 0 , PROi) verwendet werden, indem die 
Verarbeitungseinheiten jeweils durch die zugeordneten Bau- 
steine verzogert werden, bis die Instrukt ionsausf uhrung aller 
Verarbeitungseinheiten die aktuelle Transaktion erreicht hat. 
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Zusammenf as sung 



Figur 1 
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